#Trajectory Synthesis

3 篇

Novel or Not? PatEx-Gym: Agentic Prior-Art Search for Novelty Assessment in Patent Examination

PatEx-Gym：面向专利审查新颖性评估的智能体现有技术搜索框架

🧭 Agentic 搜索与轨迹合成

中国科学院深圳先进技术研究院 · 中国科学院大学 · 大连理工大学 · 深圳理工大学

构建专利审查 agent 基准与轨迹合成方法，训练 4B 模型在现有技术搜索上接近大模型效果

📌 工作参考价值（4 点）

PASS 以文档访问作为隐式相关性信号来自动合成搜索轨迹，无需人工标注；可借鉴到电商搜索中，用用户点击、停留、加购等行为日志构造 agent 训练数据，省去昂贵标注
将搜索过程分解为 query 内部行为、query 间进展、轨迹级证据质量三个层次，可迁移到商品对比、选品 Agent 的 reward 设计或数据筛选，提升搜索策略学习效率
4B 小模型仅靠 SFT 合成轨迹即可达到大模型 agent 的竞争性能，适合业务中低延迟、低成本的部署约束，可先训一个轻量 agent 再逐步扩展
其 harness runtime 支持迭代搜索、文档访问、OA 生成的完整闭环，对搭建自营 agent 评测环境有参考意义，尤其适合需要复杂检索和推理链路的场景

Agent | 2026-10-23 | HF Daily | score 7/10

Trajectory2Gym: Decision-Grounded Compositional Interaction Synthesis for Tool-Use Agents

Trajectory2Gym：面向工具使用智能体的决策锚定组合交互合成

🧭 工具使用 Agent 轨迹合成与 SFT ★ 深度解读

Westlake University · Ant International

通过构造组合交互并仅监督有可见历史依据的决策，大幅提升多轮工具使用智能体的 SFT 效果

📌 工作参考价值（4 点）

决策级监督掩码：训练工具使用智能体时，不要只按最终成功或 API 执行成功过滤轨迹。对每个 assistant 动作检查：参数是否来自决策时可见的上下文（如工具返回结果、用户确认），工具是否可见，以及是否满足工作流顺序。失败的调用保留为上下文但不参与模仿损失，避免模型学会利用 collector 私有信息或错误捷径。
定向合成欠支持依赖路径：先统计现有轨迹池中组合结构的支持度（如“查询→错误→澄清→重试→确认→取消→更新”），再针对低于支持阈值的路径生成任务和初始状态。不要随机采样候选，否则稀有结构被漏掉的概率很高；可按模型尺度设定每个 canonical path 的目标深度，小模型少重复，大模型多重复。
父级归一化 SFT：一条多轮交互可能被渲染成多行训练样例，若按行平均会让长交互主导损失。以语义交互为单位赋予相等权重，再在内部按目标 token 数分配，可防止长轨迹过拟合，提升多轮和状态依赖任务的稳定性（消融中单独贡献 8.04 点）。
成功只做 gate，不做 license：在电商客服、订单处理等 Agent 场景，即使 API 执行成功，也可能包含错误目标或违反用户最新意图（如替换了已取消的商品）。将“成功”作为进入训练池的门槛，但不作为每个动作的监督许可；结合工作流顺序和用户确认来判定目标动作。

Training | 2026-10-23 | HF Daily | score 8/10

Tool-Use Agents Trajectory Synthesis Decision Grounding SFT Compositional Coverage Multi-turn Interaction

AREX-2: Advancing Self-Improving Agents through Long-Horizon Reflective Tasks

AREX-2：通过长程反思任务推进自改进智能体

🧭 自改进 Agent · 长程反思训练 ★ 深度解读

Beijing Academy of Artificial Intelligence (BAAI)

用长程反思轨迹训练 27B agent，在 ML/编程及深度研究基准上逼近更大模型

📌 工作参考价值（4 点）

把“失败和恢复”写进训练轨迹，而不是只保留成功答案：在电商搜索/广告 agent 做 query 改写、创意优化时，可用离线仿真或历史日志构造多轮改进轨迹，保留负面反馈与后续修复步骤，loss 只施加在产生进步的动作上。
用 graded reward 替代 binary pass/fail：推荐/搜索中的 ranking 调优或选词不要只给“是否采纳”，可给连续指标（CTR、NDCG、转化率变化量），让每轮反馈都有信息量，延长有效迭代轮数。
把 operational knowledge 做成可注入的 skills：在基座模型不变的情况下，将商品类目规则、广告政策、用户意图词典等做成紧凑文档放进 context，能显著提升 agent 初始能力；实验中 base 从 28.8 到 68.2，说明业务知识注入比重新训练更便宜。
在线上 agentic 工作流中预留 round budget，并用 best-so-far 指标评估：例如对高价值广告计划或搜索 query，可给 agent 多次尝试与自评机会，按测试时消耗动态增加调用；但注意有效 horizon，超出 T* 后不再提升。

Agent | 2026-09-28 | HF Daily | score 8/10

Self-Improvement Long-Horizon Reflection Agent Test-Time Scaling Trajectory Synthesis